Re-Centering Humans in LLM Personalization
重新聚焦人类：LLM 个性化中的真实用户差距与对齐方法
🧭 LLM个性化评估与对齐 ★ 深度解读
University of Illinois Urbana-Champaign · Carnegie Mellon University
真实人类数据揭示LLM个性化三阶段中的系统性局限，轻量级训练干预可有效对齐人类判断
📌 工作参考价值（4 点）
- 属性提取后置轻量验证器：在从对话历史抽取用户属性后，使用基于人类标注训练的 RoBERTa 分类器作为过滤层，可大幅降低错误属性率（接受率从 58% 提升至 >90%），适合作为 Agent 记忆或电商用户画像流水线的安全闸门。
- 相关性匹配不要依赖语义相似度：LLM 在判断“属性是否应影响当前回复”时严重过选（比人类多 20-40%），直接用 BM25 或 embedding 相似度效果更差，可改用监督分类或 GRPO 微调一个小模型（如 Qwen3-4B）来学习人类的保守选择边界，减少不必要的个性化干扰。
- 自动评估个性化质量需谨慎：LLM 评判者倾向给显式提及用户属性的回复更高分，但与人类偏好仅弱相关（Spearman < 0.37），且近 55% 的个性化回复被人类认为不优于通用回复，因此推全个性化功能前必须结合人工评测，并警惕“表面个性化”带来的反向效果。
- 过度个性化会损害体验：多个开源模型在加入用户属性后回复质量反而下降，提示构建推荐系统或对话 Agent 时应保守引入个性化线索，当模型无法恰当时可退化为通用响应。